Selepas bermain untuk Pasukan Remaja Bawah 15 Jerman dan Pasukan Remaja Bawah 16 Jerman, Khedira bermain untuk Pasukan Remaja Bawah 17 Jerman dan beraksi untuk Jerman di 2011 FIFA U-17 World Cup, di mana beliau bermain sebanyak lima kali dalam kejohanan tersebut.[34] Tahun berikutnya, Khedira dipanggil untuk Pasukan Remaja Bawah 19 Jerman dan dengan segera memberi kesan apabila beliau menjaringkan gol pada perlawanan sulungnya, dalam kemenangan 3–0 menentang France U19 pada 14 November 2012.[35] Beliau membuat penampilan lain untuk Pasukan Remaja Bawah 19 Jerman pada 25 Mac 2013, dalam kemenangan 2–0 menentang Ukraine U19.[36]

Tiga tahun kemudian, Khedira dipanggil untuk Pasukan Bawah 21 Jerman pada November 2014.[37] Melalui bapanya, beliau layak untuk bermain untuk Pasukan Bola Sepak Kebangsaan Tunisia, tetapi beliau menolak panggilan untuk bermain untuk pasukan tersebut dari FA Tunisia.[38]